AI 应用全景
AI 正在哪些地方真实地改变世界 —— 十大领域任务地图 · 原理 · 代表企业 · 相互协同
1. 总览
大语言模型（LLM）是当下 AI 应用最耀眼的主角，但它只是 AI 版图的一部分。 2022 年以来 LLM 以"生成式通用对话"的形态横扫认知任务，让"AI 就是 ChatGPT"成为普遍印象。但真实的 AI 应用版图远比这广阔：ChatGPT 之外，你的手机人脸解锁、相册自动分类、地图语音导航、淘宝猜你喜欢、银行反欺诈拦截、工厂的自动质检、扫地机器人的路径规划、医院影像报告……这些每天都在发生的智能化，共同构成完整的 AI 应用生态。
它们共享同一批底层能力：感知（看懂图像/听懂语音）、理解与生成（LLM 的文本/多模态）、预测（从数据中推断）、决策（在不确定中选择动作）、推理（基于知识推导结论）。本文按这些能力把 AI 应用划分为 十大领域，LLM 居首、其他九大领域次之，逐一定义任务地图、代表企业、与其他领域的协同，并用 UML 图梳理整体结构。
| 分类维度 | 划分方式 |
|---|---|
| 按输入/输出模态 | 视觉（图像/视频）、听觉（语音/音频）、语言（文本）、结构化数据（表格/时序）、多模态 |
| 按任务性质 | 识别/理解（判别式）、生成（生成式）、预测/回归、决策/控制（强化/规划）、检索/推荐、推理（符号） |
| 按技术范式 | 深度学习（CNN/Transformer）、传统机器学习（树模型）、强化学习、扩散模型、符号 AI（规则/知识图谱/专家系统） |
| 按应用行业 | 安防、工业制造、金融、医疗、交通（自动驾驶）、零售电商、内容娱乐、教育、政务、能源等 |
| 领域 | 核心任务 | 代表应用/企业 | 与其他领域的关系 |
|---|---|---|---|
| 大语言模型 LLM | 对话/文本生成/推理/代码/Agent | ChatGPT、Claude、Gemini、DeepSeek、文心、通义、豆包 | 核心引擎，通才化吸收认知任务，作为 Agent 大脑协同各领域 |
| 计算机视觉 | 图像分类/检测/分割/OCR/人脸/3D/视频理解 | 商汤、旷视、海康、大华、Tesla FSD、Apple FaceID | 视觉编码器被并入多模态大模型，但专用小模型仍在边缘与工业独立运行 |
| 语音与音频 | ASR/TTS/声纹/语音克隆/音乐生成 | 科大讯飞、Google、ElevenLabs、Suno | Omni 模型统一语音输入输出，但流式 ASR、低延迟 TTS 仍靠专用模型 |
| 传统 NLP（冷门） | 机器翻译/情感分析/文本分类/NER/信息检索 | Google Translate、BERT 系、搜索排序 | 大部分被 LLM 吸收；高吞吐轻量分类/检索仍在生产环境 |
| 推荐系统与搜索 | 协同过滤/召回/CTR 预估/广告/排序 | 淘宝、抖音、Netflix、Google 搜索、字节 | LLM 做语义召回与冷启动解释，核心排序仍靠高并发 ML 模型 |
| 经典机器学习（冷门） | 分类/回归/聚类/异常检测/时间序列 | 金融风控、信用评分、需求预测（XGBoost） | LLM 不擅长表格数据，树模型在表格任务仍 SOTA |
| 强化学习 | 游戏 AI/调度优化/决策策略/机器人控制 | AlphaGo、Waymo、数据中心节能、量化交易 | 与 LLM 结合做 Agent 微调（RLHF），但控制优化领域独立 |
| 机器人学与具身智能 | SLAM/路径规划/运动控制/操作 | 宇树、波士顿动力、Tesla Optimus、大疆、发那科 | VLM 提供语言-视觉-动作接口（VLA），底层控制仍靠传统控制+RL |
| 知识图谱与专家系统（冷门） | 三元组存储/图推理/规则引擎/决策支持 | Google 知识图谱、医疗 CDSS、反洗钱图分析 | LLM 做实体抽取，图谱给 LLM 提供可解释事实源 |
| 多模态与扩散生成 | 文生图/文生视频/音频生成 | OpenAI、Google Veo、Midjourney、可灵、Seedance、Suno | 扩散模型与 LLM 架构分离；部分并入多模态大模型 |
判别式模型（Discriminative）：学一个"边界/映射"，把输入判到某个类别或数值（如：这张图是猫还是狗、这笔交易是否欺诈）。
生成式模型（Generative）：学数据的"分布"，能凭空造出新的样本（如图像、语音、音乐）。
强化学习（Reinforcement Learning）：智能体通过与环境交互、按奖励信号调整策略来学习"做什么动作最优"。
符号 AI（Symbolic AI）：用显式的规则、逻辑、知识表示（而非神经网络）做推理，可解释性强。
2. 用例图 · AI 应用十大领域
从"谁在用、用来干什么"的角度，十大领域横跨三类使用方：终端用户（用 LLM 对话、手机识图、语音导航、刷推荐流、生成图片）、企业/机构（用 LLM 驱动客服/代码生成、推荐做增长、风控做拦截、知识系统做决策）、智能设备（机器人、汽车、摄像头自主完成感知与动作）。LLM 作为通才引擎，与其余九大专业领域共同构成完整的 AI 能力谱系。
用例图（Use Case Diagram）：UML 行为图之一，站在使用方（Actor）视角描述系统对外提供的功能（用例）。
ToB / ToC：面向企业（Business）或面向消费者（Consumer）的业务形态，同一 AI 能力常同时服务两端。
3. 活动图 · 从数据到价值的通用主流程
尽管领域各异，几乎所有 AI 应用都遵循同一条价值链路：采集数据 → 预处理标注 → 表示提取 → 推理预测 → 行动/输出 → 反馈回流。LLM 类应用与其余领域在链路两端侧重不同：LLM 的输入是文本/指令、输出是生成内容，而视觉/语音/控制类应用的输入侧往往是低层原始信号（像素、波形、传感器时序）、输出侧常常要落到物理动作或毫秒级在线决策（机械臂、车辆、推荐下发），因此实时性、确定性、与硬件的耦合要求更高。
特征/表示提取（Representation）：把原始信号压缩成模型可用的低维向量，传统靠手工特征（HOG/SIFT），深度学习靠网络自动学习。
推理（Inference）：把训练好的模型部署后对新的输入做预测的过程，对应"训练（Training）"的反面。
回流（Feedback Loop）：把线上结果与真实反馈（用户点击、质检结论）回收用于再训练，形成数据飞轮。
4. 时序图 · 感知型应用的调用链
以工业视觉质检为例看真实落地：产线相机高速采集图像 → 边缘推理服务调用视觉模型 → 模型返回缺陷类别与置信度 → 控制系统据此做"OK/NG"判定并触发剔除。这里三个关键约束在 LLM 应用中很少出现：低时延（必须跟上产线节拍）、边缘部署（数据不出厂、带宽有限）、确定性（漏检/误检要可量化、可审计）。
边缘推理（Edge Inference）：把模型部署在靠近数据源的设备（摄像头、工控机）上运行，而非上传云端，降低时延与带宽、保护隐私。
置信度（Confidence）：模型对其预测的自信心分数（0-1），生产系统常用"低于阈值→人工复核"策略。
节拍（Takt / Cycle Time）：产线上一个工件的生产周期，AI 判断必须在这个时间内完成。
5. 组件图 · AI 应用系统的分层技术栈
一个完整的 AI 系统自下而上分五层：数据层（多模态数据集与标注）→ 感知与表示层（视觉/语音/文本编码器）→ 理解·决策·生成层（LLM、判别、决策、生成、知识五类模型）→ 行动与交付层（控制执行、在线服务、交互接口）→ 工程支撑层（MLOps、向量库/图数据库、边缘算力）横向贯穿。LLM 作为通才大脑与多个专用模型协同（视觉+控制+推荐各司其职、各取所长），并采用边缘/云端混合部署来满足不同时延与合规要求。
MLOps：机器学习运维，覆盖数据、训练、评估、部署、监控、再训练的工程化流水线，让模型可复现、可上线、可回滚。
向量数据库 / 图数据库：向量库存高维向量用于语义检索，图数据库存"实体-关系"用于图谱推理。
推理引擎（Inference Engine）：把模型高效跑起来的软件/硬件栈，如 TensorRT、ONNX Runtime、GPU/边缘 NPU。
6. 类图 · AI 应用的概念模型
把"一个 AI 应用"抽象成概念模型：它由 输入模态、任务类型、模型范式、输出行动 四类要素组合而成。同一个领域可以横跨多种范式（如计算机视觉既用判别式做检测、又用扩散模型做生成），同一种范式也可以服务多个领域（如强化学习既做游戏 AI 又做调度）。LLM 对应"文本/多模态输入 + 生成式任务 + 自回归范式 + 内容输出"这条组合路径，而其他领域各自有不同的组合——这正是理解"AI 不只一种"的核心。
模态（Modality）：信息的表现形式，常见有图像、视频、音频、文本、表格、时序信号。
自回归（Autoregressive）：逐个 token 预测下一个来生成序列（LLM 的核心），与扩散模型"整体去噪"的生成方式不同。
范式（Paradigm）：这里指解决问题的技术路线（判别/生成/强化/符号），是比"算法"更高一层的分类。
7. 大语言模型 LLM Large Language Model
原理：大语言模型（LLM）以自回归 Transformer 架构为核心，学习"在给定前文下预测下一个 token"来获得语言理解与生成能力。训练分三步走：预训练（在海量文本上学习通用知识与语法）→ 有监督微调 SFT（用人工标注的高质量对话/指令数据对齐人类意图）→ RLHF（用人类偏好强化学习进一步对齐）。2022 年 ChatGPT 引爆后，LLM 从"对话机器人"迅速扩展为多模态理解、推理、代码生成、Agent 工具调用、长文本处理等通才能力，Scaling Law 驱动下模型参数从数十亿增长到万亿级，推理端则走向"推理时计算"（GPT-5 系慢思考，o1/o3 为其前身）。
| 代表应用/企业 | 说明 |
|---|---|
| OpenAI（GPT-5.6 / GPT-5.5） | 全能对话、多模态、推理、代码生成，LLM 浪潮的引领者 |
| Anthropic（Opus 5 / Fable 5） | 强调安全对齐与长文本能力，编程与文档分析场景突出 |
| Google（Gemini 2.5 / 3.6） | 原生多模态，百万级 token 上下文，整合 Google 生态 |
| DeepSeek（V4-Flash / V4 Pro） | 中国开源代表，推理能力突破，性价比极高 |
| Meta（LLaMA 4）/ 月之暗面（Kimi K3） | 开源生态基石，Kimi K3 为全球最大开源模型（2.8T），可本地部署 |
| 百度文心 / 阿里通义 / 字节豆包 / 腾讯混元 / 月之暗面 Kimi | 中国主力玩家，各有侧重（文心-知识、通义-电商、豆包-社交、Kimi-长文本） |
与其他领域的关系：LLM 是"通才化"最彻底的 AI 领域，正快速吸收认知型 NLP、语音理解与生成、视觉语义理解等任务（多模态大模型）。同时它作为"大脑"驱动 Agent 调用各领域 API（视觉/语音/控制/检索），并借助 RL（RLHF/RLVR）增强对齐能力、借助知识图谱（RAG）减少幻觉。但高并发排序、表格预测、低层感知、实时控制、符号合规等场景仍保持独立，LLM 在"想和说"上领先，其余领域在"看、算、动、控"上不可替代。
自回归（Autoregressive）：逐个 token 预测下一个来生成序列，LLM 的根基，与扩散模型"整体去噪"不同。
SFT（Supervised Fine-Tuning）：有监督微调，用人工标注的高质量数据让模型学会对话格式。
RLHF（Reinforcement Learning from Human Feedback）：用人类偏好训练奖励模型，再强化学习微调 LLM，使其对齐人类意图。
Scaling Law：模型性能随参数/数据/计算量增长而可预测提升，是 LLM 持续"做大"的底层动力。
推理时计算（Test-Time Compute / GPT-5 系慢思考）：LLM 在回答前"思考"更多步，用推理链提高复杂问题准确率，2024 年由 o1 提出、2025 年后成主流方向。
8. 计算机视觉 Computer Vision
原理：让机器从图像/视频中提取结构化信息。传统方法先做特征工程（HOG、SIFT）再用分类器；2012 年 AlexNet 之后转向卷积神经网络（CNN）端到端学习，2020 年起 ViT（视觉 Transformer）把注意力机制引入视觉。核心任务是"看懂世界"：图像分类、目标检测、图像分割、人脸识别、OCR、姿态估计、三维重建、视频理解；生成侧则用扩散模型"制造图像"。
| 代表应用/企业 | 说明 |
|---|---|
| 海康威视 / 大华 | 安防监控摄像头内置人脸识别、行为分析（全球最大视频监控厂商） |
| 商汤 / 旷视 / 云从 / 依图 | "AI 四小龙"，人脸识别、图像理解算法输出给安防/金融/手机 |
| Tesla FSD / Waymo | 自动驾驶纯视觉感知：检测车辆行人、分割车道、3D 重建 |
| Apple FaceID / 手机影像 | 端侧人脸解锁、拍照 AI 修图、相册聚类 |
| 工业视觉（基恩士/康耐视） | 产线缺陷检测、尺寸测量、字符识别 |
与 LLM 的关系：视觉编码器（如 CLIP、SigLIP）已被并入多模态大模型（GPT-5.6、Gemini 3.6 等），实现"看图说话"。但工业质检、安防、自动驾驶感知这类结构化、实时、边缘的视觉任务，仍由专用 CNN/Transformer 小模型独立完成——它们更快、更便宜、更容易量化指标，且能直接部署在摄像头和车端芯片上。
目标检测（Detection）：在图中框出每个物体的位置与类别（YOLO、Faster R-CNN 为经典代表）。
图像分割（Segmentation）：把每个像素归类（语义分割）或区分每个实例（实例分割，Mask R-CNN）。
ViT（Vision Transformer）：把图像切成 patch 输入 Transformer 的架构，替代 CNN 成为视觉主干网络。
OCR（Optical Character Recognition）：从图像中识别文字，详见知识库《OCR 技术详解》。
9. 语音与音频 Speech & Audio
原理：语音 AI 分"听"与"说"两条线。听：语音识别（ASR）把波形转文字，主流用 CTC/注意力/端到端架构；声纹识别提取"说话人向量"用于身份认证；语音增强负责去噪与分离多人声音。说：语音合成（TTS）由声学模型 + 声码器把文字变人声，近年加入情感与音色克隆；音乐生成则用扩散/自回归模型谱曲。
| 代表应用/企业 | 说明 |
|---|---|
| 科大讯飞 | 中文 ASR/TTS 龙头，覆盖教育、医疗、政务、翻译机 |
| Google / Microsoft / Amazon | 云上 ASR 与 TTS（Azure Speech、Polly），以及手机端语音助手 |
| ElevenLabs / 声网 / 标贝 | 语音克隆、实时音色迁移、数字人配音 |
| Suno / Udio / AIVA | AI 音乐生成，输入提示词直接产出一首歌 |
| 声纹识别（银行/公安） | 声纹支付、远程开户核身、公安语音比对 |
与 LLM 的关系：新一代 Omni 大模型（GPT-5.6 等）把语音直接纳入统一输入输出，实现"说一句话→模型直接语音回答"。但生产中的 流式 ASR（边说边转、毫秒级）、端侧 TTS（手机/车机离线播报）、声纹安全（防录音重放）仍依赖专用语音模型，因为它们对时延、隐私、硬件要求高，且 LLM 统一语音的幻觉与成本问题尚难在实时场景落地。
ASR（Automatic Speech Recognition）：自动语音识别，把语音波形转成文本。
TTS（Text To Speech）：文语转换，把文本转成自然语音，由声学模型（Mel 频谱）+ 声码器（如 HiFi-GAN、Vocoder）组成。
CTC（Connectionist Temporal Classification）：解决"语音帧与文字不对齐"的经典训练目标，广泛用于 ASR。
声纹（Voiceprint / Speaker Embedding）：从语音中提取的说话人身份向量，用于"是谁在说话"的判定。
10. 传统自然语言处理 NLP（非生成式）
原理：在 LLM 之前，NLP 走的是"编码器 + 判别式/检索式"路线：词向量（word2vec、ELMo）把词变向量，BERT 等编码器做双向理解，再接到分类、序列标注、匹配等任务头。机器翻译经历了统计机器翻译 → 神经机器翻译（NMT，Seq2Seq + 注意力）。信息检索则从 BM25 稀疏匹配演进到向量语义检索。
| 代表应用/企业 | 说明 |
|---|---|
| Google Translate | 神经机器翻译，早期以非生成式 NMT 为主，现已叠加 LLM |
| BERT 系模型（Google、HuggingFace） | 文本分类、情感分析、命名实体识别（NER）的通用底座 |
| 搜索引擎（Google/Bing/百度） | 排序融合 BM25 稀疏检索 + 语义向量检索 |
| 反垃圾/反作弊 | 垃圾邮件过滤、评论审核、关键词识别（高吞吐小模型） |
与 LLM 的关系：这是被 LLM 吸收最彻底的领域——生成式大模型在翻译、摘要、问答、分类上全面超越并取代了大部分判别式模型。但两类场景仍保留非 LLM 方案：高吞吐低成本的轻量任务（每天数十亿次的垃圾过滤、标签抽取，用小模型便宜一个数量级）、检索的稀疏索引（BM25 仍是海量文档召回的地基，LLM 只做精排/重排）。
NER（Named Entity Recognition）：命名实体识别，从文本中抽出人名、地名、组织、时间等实体。
NMT（Neural Machine Translation）：神经机器翻译，用 Seq2Seq + 注意力网络做端到端翻译。
BM25：经典稀疏检索打分算法，用词频/逆文档频率衡量文档与查询的相关性。
编码器（Encoder）：把输入序列映射为上下文向量的模型部分，BERT 即纯编码器架构。
11. 推荐系统与搜索排序 Recommendation & Ranking
原理：推荐系统的本质是从海量候选里找出用户最可能消费的内容/商品。工业界普遍采用"漏斗"结构：召回（协同过滤、双塔向量从百万级粗筛到千级）→ 粗排 → 精排（CTR/CVR 预估，DeepFM、DIN 等深度学习模型逐条打分）→ 重排（多样性、商业规则、新鲜度）。排序学习（Learning to Rank）与广告 CTR 预估是其中的核心算法问题，也是 AI 商业化最成功、最赚钱的应用之一。
| 代表应用/企业 | 说明 |
|---|---|
| 淘宝 / 京东 / 拼多多 | 商品推荐 + 广告，GMV 增长的核心引擎 |
| 抖音 / 快手 / YouTube / Netflix | 短视频与内容推荐，决定用户停留时长 |
| Google / Bing / 百度搜索 | 网页排序，Learning to Rank 的经典战场 |
| 字节跳动 / 阿里妈妈 / 腾讯广告 | 广告投放：CTR 预估、出价、流量分配 |
与 LLM 的关系：LLM 正被用于语义召回（理解长尾兴趣）、冷启动（新用户没行为数据时用语言理解兜底）和推荐解释（生成"为什么推荐给你"）。但核心的精排打分必须扛住数亿级 QPS 与毫秒级延迟，这是超大参数生成模型做不到的——高并发、低延迟的专用排序模型（甚至知识蒸馏后的小模型）仍是主力。
协同过滤（Collaborative Filtering）：根据"相似用户/相似物品"的交互记录做推荐，不依赖内容理解。
双塔模型（Two-Tower）：把用户与物品分别编码成向量，用内积近似匹配，支撑大规模召回。
CTR/CVR（Click-Through / Conversion Rate）：点击率/转化率预估，广告与推荐精排的核心目标。
冷启动（Cold Start）：新用户/新物品缺少行为数据时的推荐难题。
12. 经典机器学习与预测分析 Classic ML & Predictive Analytics
原理：在深度学习之前乃至与之并行，树模型与统计模型统治着表格数据。监督学习做分类/回归（逻辑回归、随机森林、XGBoost、LightGBM），无监督做聚类（k-means）与降维（PCA），异常检测用隔离森林、自编码器，时间序列预测用 ARIMA → LSTM → 时序 Transformer。这类应用的特点：输入是结构化表格、强调可解释性与可审计性、上线久、稳定可靠。
| 代表应用/企业 | 说明 |
|---|---|
| 金融风控（蚂蚁、度小满、FICO） | 信用评分、反欺诈、贷前贷后风险拦截，树模型为主 |
| 供应链/需求预测（零售、制造） | 库存、销量、排产预测，时间序列模型 |
| 设备预测性维护（工业） | 传感器时序异常检测，提前预警故障 |
| 医疗诊断辅助（结构化数据） | 检验指标、病历结构化的风险分层 |
与 LLM 的关系：LLM 对高维稀疏表格数据并不擅长（缺乏结构化归纳偏置），因此 XGBoost/LightGBM 等梯度提升树在 Kaggle 竞赛与大量 ToB 生产系统里仍是表格任务的 SOTA（最优）选择。LLM 更多扮演"补充语义特征"或"把预测结果解释成人话"的角色，而非替代。
XGBoost / LightGBM：梯度提升树（GBDT）的高性能实现，表格数据预测的工业标准。
异常检测（Anomaly Detection）：发现"少数异常样本"（欺诈、故障、网络攻击）的任务，常与不平衡学习结合。
时间序列预测（Time Series Forecasting）：根据历史时序外推未来（销量、能耗、股价），近年被时序 Transformer 刷新。
SOTA（State Of The Art）：某任务当前表现最好的模型/方法。
13. 强化学习与决策智能 Reinforcement Learning
原理：强化学习的核心是"智能体-环境"闭环：智能体观测状态、做出动作、环境反馈新的状态与奖励，智能体据此最大化长期累计奖励。算法分两大流派：价值型（DQN 学"状态-动作价值"）与策略型（PPO 直接优化策略）。它最适合"有明确目标、可试错、序列决策"的问题：游戏、机器人控制、资源调度、出价策略、自动驾驶决策。
| 代表应用/企业 | 说明 |
|---|---|
| DeepMind AlphaGo / AlphaZero | 围棋/棋类超越人类的世界冠军，RL 里程碑 |
| Google 数据中心节能 | RL 优化空调/冷却调度，节能数十个百分点 |
| Waymo / 自动驾驶决策 | 规划层用 RL/模仿学习做驾驶决策 |
| 运筹优化（晶圆调度、物流） | 组合优化问题用 RL/搜索替代人工规则 |
| 量化交易/广告出价 | 在动态市场中学最优策略 |
与 LLM 的关系：LLM 借助 RL 技术做对齐微调（RLHF：人类反馈强化学习，以及 RLVR：可验证奖励强化学习），这是 LLM 变"聪明"的关键一步。反过来，LLM 也被用作 RL 智能体的"世界模型/规划器"（让 Agent 想清楚再行动）。但纯粹的控制优化、游戏决策、机器人学习仍是 RL 独立主场，与 LLM 无直接依赖。
DQN（Deep Q-Network）：用深度网络拟合 Q 价值函数的价值型 RL 算法。
PPO（Proximal Policy Optimization）：最常用的策略梯度算法，稳定高效，是 RLHF 微调的主力。
RLHF（Reinforcement Learning from Human Feedback）：用人类偏好训练奖励模型，再强化学习微调 LLM，使其对齐人类意图。
探索-利用（Exploration-Exploitation）：RL 的核心权衡——多试新动作（探索）还是重复已知最优（利用）。
14. 机器人学与具身智能 Robotics & Embodied AI
原理：机器人系统 = 感知（视觉、激光雷达、IMU）→ 定位建图（SLAM：同时定位与建图）→ 规划（路径规划 A*/RRT、运动规划 MPC）→ 控制（关节/电机伺服）→ 执行。近年 具身智能（Embodied AI）把大模型/RL 引入机器人，让机器能听懂语言指令、泛化操作陌生物体（如 VLA：视觉-语言-动作模型）。
| 代表应用/企业 | 说明 |
|---|---|
| 宇树科技 / 波士顿动力 / Figure / Tesla Optimus | 人形/四足机器人，面向通用操作与家庭/工业服务 |
| 大疆（无人机）/ 扫地机器人（石头、科沃斯） | 消费级机器人：飞行控制、SLAM 导航 |
| 工业机械臂（发那科、ABB、库卡） | 焊接、装配、搬运，运动控制精度达亚毫米 |
| 物流 AMR / 仓储机器人（亚马逊、极智嘉） | 仓库内自主搬运、分拣 |
| 自动驾驶（车即机器人） | 感知-决策-控制的完整闭环，L2-L4 分级落地 |
与 LLM 的关系：LLM/VLM 给了机器人"常识与语言接口"（听懂指令、理解场景），并配合 RL 做操作策略学习（如抓取泛化）。但底层的高频控制回路（关节伺服、避障）必须由实时、确定、安全的传统控制 + RL 策略完成——LLM 的推理时延（秒级）远够不上控制频率（千赫兹级），"LLM 做大脑、专用算法做小脑"是当前主流架构。
SLAM（Simultaneous Localization And Mapping）：机器人在未知环境中一边定位自己、一边建图，扫地机器人与自动驾驶的地基。
路径规划（Path Planning）：在环境里找一条从起点到终点的可行路径，经典算法 A*、RRT。
MPC（Model Predictive Control）：模型预测控制，基于系统模型在滚动时域内做优化控制，用于精确运动跟踪。
具身智能（Embodied AI）：强调"智能体有身体、能与物理世界交互"的 AI 路线，与"纯数据学习的离身智能"相对。
15. 知识图谱与专家系统 Knowledge Graph & Expert Systems
原理：这是 符号 AI 的代表，与神经网络路线完全不同。知识图谱用三元组（实体-关系-实体）表达知识，存于图数据库（Neo4j），支持图遍历、路径分析、社群发现；专家系统则用"IF-THEN 规则 + 推理机"把人类专家经验固化，可解释、可审计、不依赖海量数据。构建时靠 NLP 做实体链接与关系抽取，推理时靠规则引擎或图算法。
| 代表应用/企业 | 说明 |
|---|---|
| Google 知识图谱 | 搜索侧边栏的"实体卡片"，从 2012 年起支撑结构化搜索 |
| 医疗 CDSS（临床决策支持） | 基于指南/规则推荐诊疗路径，强调可解释与合规 |
| 反洗钱/反欺诈（银行） | 图分析找资金环、团伙欺诈等隐蔽关联 |
| 工业故障诊断 | 设备故障因果图谱 + 专家规则，定位根因 |
| 风控/监管合规（政务、法律） | 法规知识图谱 + 规则引擎做合规审查 |
与 LLM 的关系：LLM 与图谱形成"互补双生"：LLM 负责从非结构化文本抽取实体关系喂给图谱（自动化构建），图谱作为可解释的事实源供 LLM 检索增强（RAG）以减少幻觉。而在强合规、强可解释、强审计的场景（金融、医疗、政务、法律），纯规则/专家系统依然是法定可信方案——LLM 的"黑盒概率"无法通过监管验收。
三元组（Triple）：知识图谱的基本单元，"头实体-关系-尾实体"，如（北京, 首都, 中国）。
实体链接（Entity Linking）：把文本中的指称（如"苹果"）消歧并连接到图谱中确定的实体。
RAG（Retrieval-Augmented Generation）：检索增强生成，把外部知识库/图谱检索结果拼进提示词，让 LLM 基于事实回答。
专家系统（Expert System）：由知识库（规则）+ 推理机组成的早期 AI 应用形态，擅长解释"为什么得出这个结论"。
16. 多模态与扩散模型生成 Generative Diffusion
原理：这是"AI 生成内容"的另一个技术家族，核心是扩散模型（Diffusion）：训练时给图像逐步加噪，推理时从纯噪声逐步去噪还原图像。2022 年 Stable Diffusion 把扩散搬进隐空间，2024 年起 DiT（扩散 Transformer）与流匹配成为主流；文生视频在时空维度上做扩散（Veo、可灵、Seedance）；音频/音乐生成则混用扩散与自回归。生成式 AI 是 2020 年代 AI 商业化增长最快的分支。
| 代表应用/企业 | 说明 |
|---|---|
| Midjourney / Stable Diffusion / FLUX | 文生图：设计师与创作者主力工具 |
| Google Veo / 快手可灵 / 字节即梦（OpenAI Sora API 已弃用，2026-09-24 关停） | 文生视频：影视、广告、营销素材生产 |
| Suno / Udio / AIVA | AI 音乐与配乐生成 |
| Runway / Pika | 视频编辑与图生视频 |
与 LLM 的关系：注意区分：扩散模型与 LLM 在架构上分属两大家族（扩散去噪 vs 自回归逐字），并非"LLM 生图"。部分厂商（如 OpenAI GPT Image）用自回归路线生图，属于"把 LLM 扩展到视觉 token"；同时多模态大模型会把扩散模块并作输出头。但工业级文生图/文生视频/音乐，仍以独立扩散模型为主。本领域完整梳理见《AI 文生图文生视频多模态》。
LLM 能理解图/视频吗？能，生成呢？也能——只是分工不同。纯文本 LLM（GPT-3、LLaMA 等）输入输出都是文本 token，既看不懂图也生不出图；而多模态大模型（GPT-5.6、Gemini 3.6、Claude Opus 5、Kimi K3 等）通过两条路线扩展了"理解"能力：统一架构用视觉/音频编码器（ViT、Conformer）把像素、波形映射为 token 序列，与文本 token 拼接后一起送入自回归 Transformer 训练，模型就学会了"看图说话"；外挂扩散则把扩散模块接在 LLM 输出侧负责渲染。至于"生成"——LLM 并非只能理解而不能生成，架构上没有这种限制：统一自回归生成（GPT-5.6 原生多模态、Gemini）把图像/音频也离散化成视觉 token，让"生成"退化为"预测下一个 token"，理解与生成共用同一套机制；但工业界主流仍是"LLM 理解 + 扩散生成"分工，因为纯自回归生成像素效率低、质量差，扩散在渲染质量上更占优。
16.1 AI 漫剧 / AI 短剧 / 短视频 —— 视频生成最大的落地市场
一句话判断：短视频时代，"做视频的能力"已从专业影视团队专属变成人人可用的工业化能力。AI 漫剧（动态漫画为载体的短剧）是 2025 年起步、2026 年爆发的现象级风口，也是文生视频模型最大、最短平快的落地市场。
为什么现在能做了？2025 下半年起，Seedance（字节）、可灵（快手）、万相 Wan（阿里）、海螺（MiniMax）、Veo（Google）等视频模型集中突破：5–10 秒稳定生成、角色一致性、音画同步、多镜头叙事连贯（Seedance 2.0 支持最多 9 图 + 3 视频 + 3 音频作多模态参考）。可用率（一次生成能直接用的比例）从 20% 跃升到 90%，这是从"抽盲盒"到"工业化成片"的质变阈值。单集制作成本从 5–10 万元压到 5000 元以内（降幅超 90%），单人日均产能可达 10–20 集。
这些视频模型底层都是扩散模型吗？基本是——主流工业级视频生成模型几乎都走"DiT（扩散 Transformer）+ 流匹配"路线，在 3D VAE 隐空间里逐步去噪还原视频：Seedance（双分支扩散 Transformer，音画并行扩散再对齐）、可灵（3D VAE + DiT）、万相/海螺/Vidu/Runway/LTX/混元（均为 DiT/流匹配系）、Veo（同为 latent diffusion + DiT）。例外是自回归 token 路线（把视频离散成 token 逐帧预测，如 Phenaki 及部分新研究，OpenAI GPT-5.6 生图即纯自回归）——但工业级视频生成尚未走通这条；音频/音乐生成则是扩散与自回归混用。因此"视频生成 ≈ 扩散模型主场"，与第 17 章 B2 扩散模型的归类一致。注：OpenAI 早期独立产品 Sora 已关停，视频能力（Sora 2）并入 GPT-5.5 端内；但官方已公告弃用 Videos API，2026-09-24 永久关停且无替代——开发者生视频需转向第三方 API。
| 环节 | AI 工具 | 要点 |
|---|---|---|
| 剧本 / 分镜 | 豆包、DeepSeek、Kimi、可灵智能分镜 | LLM 写剧本+拆成结构化分镜 JSON（镜头ID/时长/提示词/角色/对白） |
| 文生图（角色定稿） | 即梦、Midjourney、ComfyUI+FLUX | 角色一致性是最大难点：IP-Adapter / FaceID / LoRA 锁角色，每个角色备 3–5 张参考图 |
| 图生视频 / 文生视频 | 即梦 Seedance、可灵、万相 Wan、Vidu、Runway、LTX（开源） | 单镜头 2–4 秒，节奏要快；Seedance 可用率 90%、音画同步 |
| 配音 / 音乐 | 豆包 TTS、剪映、Qwen-TTS、ElevenLabs（出海）、Suno | 对白配音 + 情绪 + 配乐 |
| 剪辑 / 合成 | 剪映（首选）、CapCut、一站式平台（有戏AI / 巨日禄 / 漫剧助手） | 自动字幕、转场；全流程可封装为 Dify+ComfyUI 自动产线或 Agent 流水线 |
市场数据（2026）：2025 年 AI 漫剧市场约 168–200 亿元，2026 年预计 220–240 亿元；用户规模从 2025 年约 1.2 亿增至 2026 年约 2.8 亿；2025 年抖音上线漫剧约 6 万部、播放量超 700 亿；AI 仿真人短剧在百强榜占比从 7% 升到 38%。字节、快手、腾讯（火龙漫剧）、百度（柚漫剧）、B 站、爱奇艺等平台全面入场，春节档首次出现 AI 漫剧。
商业变现路径：平台中视频计划 / 创作激励（约 25–60 元/万播放）、小说推文分销（CPS 佣金 30–50%）、广告商单（品牌植入，5 万粉约 2000–5000 元/条）、付费剧集分成、出海（TikTok / YouTube 短视频、海外短剧已验证付费，2025 海外短剧市场约 40 亿美元、下载量 18.5 亿次，漫剧供给仍稀缺）。平台扶持：字节"辰星计划"单部最高 500 万元保底、快手"灵感·新纪元"创投计划最高 50 万现金 + 亿级流量。
扩散模型（Diffusion Model）：通过"加噪-去噪"学习数据分布的生成模型，DDPM 为奠基论文。
DiT（Diffusion Transformer）：把 U-Net 换成 Transformer 的扩散架构，2024 年后的文生图/视频主流。
隐空间（Latent Space）：低维压缩表示空间，Stable Diffusion 在 VAE 隐空间做扩散，大幅降低计算量。
提示词工程（Prompt）：用自然语言描述生成内容的指令，直接决定生成质量。
17. 按技术原理分类 Technical Principles
前两章分别从"领域（做什么）"和"API（怎么买）"切 AI，这一章回到最本质的技术原理（底层机制是什么）：按驱动模型的算法家族"横向切"。同一个应用往往由多个原理共同驱动（推荐系统 = 监督学习 + 深度表征 + 检索记忆），同一个原理可服务多个领域（强化学习 = 游戏 AI + 机器人 + 调度 + RLHF）。技术原理是 AI 的骨架，领域是器官，API 是采购清单——三者是同一棵技术树的三个视图。
十个原理族可归为三大组：A. 数据驱动·判别学习（从标注/自监督数据学输入→输出映射与表示）、B. 生成与模拟（学会数据的分布、能造新样本或与环境交互）、C. 知识·统计·记忆（用显式规则、概率、搜索与记忆做推理）。Transformer 是特殊的存在——它同时是判别（ViT/BERT）与生成（GPT）两条主线的公共地基。
| 原理族 | 核心机制 | 代表算法 / 模型 | 当前是否热门应用 | 支撑领域（见第7-16章） |
|---|---|---|---|---|
| A1 经典机器学习 | 从标注/无标注数据学映射与结构，可解释、样本效率高 | 逻辑回归、SVM、决策树、随机森林、GBDT/XGBoost、k-means、PCA | 冷门（表格数据仍是刚需） | 经典ML、推荐精排、风控、需求预测 |
| A2 深度表征学习 | 多层神经网络端到端学习特征表示 | MLP → CNN → RNN/LSTM → Transformer → GNN | 热门（LLM/ViT 公共地基） | 视觉、语音、NLP、推荐、LLM（地基） |
| B1 自回归生成 | 逐个 token 预测下一个来生成序列 | GPT 系、LLaMA、DeepSeek、文心/通义/豆包 | 热门（LLM 主干） | LLM、语音合成（自回归声码器）、代码生成 |
| B2 扩散模型 | 加噪-去噪学数据分布，从噪声逐步还原 | DDPM、Stable Diffusion、DiT、流匹配、Veo/可灵/Seedance/万相 | 热门（文生图/视频） | 文生图、文生视频、音频/音乐生成 |
| B3 对抗/变分生成 | 判别器与生成器对抗，或变分推断逼近分布 | GAN、VAE、StyleGAN、Flow（归一化流） | 冷门（被扩散取代） | 图像翻译、人脸生成、异常检测（重建） |
| B4 强化学习 | 与环境交互、按奖励优化策略做序列决策 | DQN、PPO、Actor-Critic、模仿学习、离线 RL、RLHF | 回暖（RLHF、具身智能） | 游戏AI、机器人控制、调度、LLM 对齐 |
| C1 符号 AI 与知识表示 | 用显式规则、逻辑、图谱表达与推理知识 | 规则引擎、专家系统、知识图谱、约束求解 | 冷门（被 LLM 吸收） | 知识图谱、专家系统、合规决策 |
| C2 统计建模与概率推理 | 用概率模型刻画不确定性与时序依赖 | 贝叶斯网络、HMM、MDP、卡尔曼滤波、矩阵分解 | 冷门（底层基础仍在） | 时序预测、SLAM 定位、ASR 传统路线、推荐 |
| C3 进化与元启发式 | 模拟自然选择/群体智能做组合优化 | 遗传算法、粒子群、模拟退火、神经进化（NAS） | 冷门（专用场景） | 调度优化、架构搜索、超参调优 |
| C4 检索与记忆 | 从外部知识库检索信息增强生成，或显式记忆 | 向量检索（Pinecone/Milvus）、RAG、记忆网络 | 热门（RAG/Agent 记忆） | 搜索、知识增强 LLM、Agent 长期记忆 |
一条主线看懂演进：符号 AI（1950s-80s，规则）→ 统计学习（1990s，概率/核方法）→ 数据驱动机器学习（2000s，SVM/决策树）→ 深度学习（2010s，CNN/RNN）→ Transformer（2017，自注意力统一判别与生成）→ 生成式大模型（2022-，自回归+扩散+RLHF+Agent）。每个新范式不是取代旧范式，而是叠加在其上——这正是技术原理分类最有价值的观察。
把十个原理族与十大地图领域交叉，可以得到"谁支撑谁"的骨架图：LLM 立在自回归（主干）+ 深度表征 + RLHF（对齐）+ 检索记忆（RAG）之上；计算机视觉以深度表征为地基，生成侧接扩散；推荐是 A1 监督 + A2 表征 + C4 检索记忆的组合；机器人则融合 B4 强化 + C2 统计（SLAM）+ 深度表征感知。看懂这张映射，就懂了"为什么 AI 不只是一种技术"。
Transformer：基于自注意力（Self-Attention）的架构，2017 年提出，是 GPT/LLM 与 ViT/BERT 的共同地基。
GAN（生成对抗网络）：生成器与判别器互相博弈，生成器造假、判别器识假，最终生成器以假乱真。
VAE（变分自编码器）：把输入压缩到隐空间分布再重建，既能压缩也能生成，Stable Diffusion 的 VAE 组件即此类。
HMM / MDP：隐马尔可夫模型（时序概率建模，传统 ASR 用）与马尔可夫决策过程（强化学习的形式化框架）。
归一化流（Normalizing Flow）：用可逆变换逐步把简单分布映射为复杂数据分布的生成模型。
18. 按现有 API 能力分类 API Capabilities
前文按"领域"划分，这一章换一个视角：市场上已经把这些能力做成了哪些可调用的 API。对于要落地产品的团队，这才是最直接的"货架"——登录百度智能云、阿里云、腾讯云、讯飞、火山引擎，或 AWS / Azure / Google Cloud，就能按能力域挑选现成接口，按次/按量付费接入。LLM 本身也是 API 货架上最大的一类（对话/推理/多模态/Agent），与视觉、语音、文本、检索、风控等专用 API 各司其职。同一 AI 能力（如 OCR）往往同时以公有云 API / 私有化部署 / 端侧 SDK 三种形态售卖。
九大能力域把十大领域重新组织成可采购的 API 货架。值得注意的跨域事实：OCR 与内容审核是国内厂商最成熟、SKU 最多的能力（百度 AI 开放平台累计 1397 项技术能力）；LLM API 是市场规模最大、增长最快的品类（OpenAI + Anthropic + Google + DeepSeek 等年收入超千亿美元）；风控类高度行业化（金融、电商），通常按"行业方案"而非"通用 API"售卖。
| 能力域 | 代表 API 产品 | 代表厂商 |
|---|---|---|
| LLM API | 对话/推理/代码/多模态、Agent 框架、向量 Embedding | OpenAI API、Anthropic Claude、Google Gemini、DeepSeek、文心/通义/豆包/智谱 API、Replicate / TogetherAI |
| 视觉 · 人脸/人体 | 人脸检测/对比/搜索、活体检测、实名认证、人体关键点 | 百度、阿里云、腾讯云、旷视 Face++、虹软、AWS Rekognition、Azure Face |
| 视觉 · OCR/文档 | 通用/卡证/票据/交通/医疗 OCR、文档解析、智能结构化 | 百度 OCR、阿里云、腾讯云、讯飞、PaddleOCR、Google Vision OCR、Azure Document Intelligence |
| 视觉 · 图像/视频理解 | 物体识别、图像搜索、视频分析、视频内容审核 | 百度、阿里云、腾讯云、AWS Rekognition、Google Vision / Video AI、Azure Video Indexer |
| 语音 | ASR、TTS、声音复刻、声纹识别、语音增强 | 讯飞、百度、阿里云、腾讯云、Azure Speech、Google Speech、AWS Transcribe / Polly、ElevenLabs |
| 文本 / 内容 | 内容审核、情感分析、实体抽取、关键词、文本纠错 | 百度、阿里云、腾讯云天御、AWS Comprehend、Google Natural Language、Azure Text Analytics |
| 机器翻译 | 文本/文档/图片/语音翻译、大模型翻译 | 百度翻译、腾讯翻译君、阿里云、Google Translate、DeepL、Azure Translator |
| 检索 / 推荐 | 向量检索、推荐引擎、智能搜索、个性化推荐 | Pinecone / Milvus / Qdrant、阿里云、百度智能搜推、AWS Personalize、Google Agent Search |
| 风控 / 决策 | 反欺诈、信用评分、异常检测、设备预测性维护 | 同盾、百融、腾讯云天御、阿里云、AWS Lookout、Azure Anomaly Detector |
| 知识 / 图谱 | 知识图谱服务、图数据库、实体链接 | 百度知识图谱、阿里云 GDB、Neo4j Aura、AWS Neptune、Google Knowledge Graph |
| 生成 / 多模态 | 文生图、文生视频、数字人、音乐生成 | 即梦 / 通义万相 / 文心一格、Stability / Replicate、可灵 / Runway / Veo、Suno / Udio、HeyGen / D-ID |
| 端侧 SDK | 离线人脸 / OCR / 语音（手机、摄像头、车机） | 百度离线 SDK、虹软、旷视、Apple Vision、Google ML Kit、讯飞离线 |
真实业务很少只调一个 API，而是把多个能力域编排成一条流水线。以"用户上传图片 → 识别内容并翻译成多语言"为例：OCR API 提取文字 → 内容审核 API 先做合规拦截 → 机器翻译 API 转多语言 → 风控 API 对发布者做风险判定，全部通过才返回结果。选型的关键是为每个环节挑"够用且便宜"的专用 API，而非都交给大模型——大模型适合兜底与生成，不适合高并发合规与结构化提取。
选型视角：五个维度
| 维度 | 决策要点 |
|---|---|
| 部署形态 | 公有云 API（快、按量）/ 私有化部署（合规、数据不出域）/ 端侧 SDK（离线、低时延、隐私） |
| 合规与安全 | 数据出境（国内业务慎用海外 API）、算法备案与安全评估、生成式内容审核义务 |
| 成本与规模 | 按次/按量/包年计费、并发上限、超时率；高频调用优先专用小模型，成本可低一个数量级 |
| 精度与时延 | 通用 API 兜底、行业定制 API 提精度；实时场景（语音、视觉质检）必须本地或低时延 |
| 与 LLM API 边界 | 翻译/摘要/分类/问答优先复用 LLM API；OCR、人脸、流式语音、内容审核、风控、推荐精排用专用 API |
SKU（Stock Keeping Unit）：这里指平台上可单独购买的 API 产品条目，百度 AI 开放平台累计 1397 项技术能力即为其货架规模。
算法备案 / 安全评估：中国对生成式 AI 与深度合成服务的法定前置监管，上线前须完成。
编排（Orchestration）：把多个 API 按业务逻辑串成流水线，并处理异常、重试、超时，是 AI 应用工程化的核心工作。
19. 跨领域协同与分工 Collaboration
纵观十大领域，可以总结出三条协同规律与一条分工线：LLM 作为"通才大脑"持续吸收认知型任务，而各专才领域守住自己的主场，并通过双向增强彼此成就。
被 LLM 融合吸收的（通才化）
- 认知型 NLP：翻译、摘要、问答、文本分类——已被生成式大模型全面覆盖。
- 语音理解与生成：Omni 大模型统一语音输入输出，端到端取代"ASR+TTS 拼装"。
- 视觉语义理解：VLM 让"看图说话、图文问答"成为标配。
- 多模态内容生成：扩散/自回归生成模块并入多模态大模型输出侧。
保持独立主场的（专才化）
- 高并发实时排序：推荐精排、广告 CTR、搜索排序——毫秒级、数亿 QPS，LLM 跑不动。
- 表格预测与风控：树模型在结构化数据上仍 SOTA 且可解释。
- 低层感知：边缘/车端/摄像头上的检测、分割、OCR——轻量、实时、确定性。
- 决策与控制：机器人关节控制、自动驾驶决策、资源调度——需毫秒级闭环与安全保证。
- 符号推理与合规：知识图谱、规则引擎、专家系统——可解释、可审计、可追责。
正在双向增强的协同
- LLM × 强化学习：RLHF/RLVR 让 LLM 对齐人类意图（RL 喂给 LLM）；LLM 反哺 RL 做规划器。
- LLM × Agent：LLM 当大脑，调用视觉/语音/控制/检索等专才能力当手脚。
- LLM × 知识图谱：RAG + 图谱降低幻觉；图谱借 LLM 自动化构建。
- LLM × 扩散生成：多模态大模型把扩散/生成模块并入输出侧。
- 计算机视觉 × 机器人：SLAM/检测为机械臂与自动驾驶提供"眼睛"，构成具身智能。
- 语音 × 数字人：ASR/TTS/声纹与图像生成结合，造出会听会说会看的数字员工。
20. 术语速查表 Glossary
| 术语 | 含义 |
|---|---|
| LLM / SFT / RLHF / Scaling Law | 大语言模型 / 有监督微调 / 人类反馈强化学习 / 规模定律 |
| Agent / RAG / VLM | 调用工具自主完成任务 / 检索增强生成 / 视觉-语言模型 |
| 判别式 / 生成式 | 判别式学"边界"做分类预测；生成式学"分布"能造新样本 |
| Transformer / CNN / RNN / GNN | 自注意力架构 / 卷积 / 循环 / 图神经网络——深度表征学习的四大主干 |
| 自回归 / 扩散 / GAN / VAE | 逐 token 生成 / 去噪生成 / 对抗生成 / 变分生成 |
| 监督 / 无监督 / 自监督 / 强化 | 有标注学映射 / 无标注学结构 / 预训练学表示 / 交互学策略 |
| 贝叶斯 / HMM / 卡尔曼滤波 | 概率推理 / 隐马尔可夫时序模型 / 状态估计（SLAM 定位） |
| CNN / ViT | 卷积神经网络 / 视觉 Transformer，视觉任务的两代主干架构 |
| ASR / TTS / CTC | 语音识别 / 语音合成 / 语音-文字对齐训练目标 |
| NER / NMT / BM25 | 命名实体识别 / 神经机器翻译 / 稀疏检索打分 |
| 协同过滤 / 双塔 / CTR | 相似行为推荐 / 向量化召回 / 点击率预估 |
| XGBoost / GBDT | 梯度提升树及其高效实现，表格数据利器 |
| DQN / PPO / RLHF | 价值 RL / 策略 RL / 人类反馈强化学习（用于 LLM 对齐） |
| SLAM / MPC / A* / RRT | 定位建图 / 模型预测控制 / 经典路径规划算法 |
| 三元组 / 图数据库 / 规则引擎 | 知识图谱基本单元 / 图谱存储 / 专家系统推理机 |
| 扩散模型 / DiT / 隐空间 | 去噪生成 / 扩散 Transformer / 低维压缩表示 |
| 具身智能 / VLA | 有身体的 AI / 视觉-语言-动作联合模型 |
| 边缘推理 / MLOps / 向量库 | 靠近数据源部署 / 模型运维工程化 / 语义检索存储 |
本文为知识库《AI 应用全景》总览文档，2026 年 8 月整理。领域级深度梳理可结合《AI 文生图文生视频多模态》《OCR 技术详解》《数字人》等文档交叉阅读。